Bộc Cố Hoài Ân là người bộ tộc Bộc Cốt tộc Thiết Lặc. Năm 646, tổ tiên ông đã quy phục nhà Đường, được Đường Thái Tông phong làm Kim Vi đô đốc phủ. Đến đời cha và ông Hoài Ân đều được tập tước Đô đốc.

Bộc Cố Hoài Ân nối nghiệp cha, lấy hiệu là Đại tướng Tả lãnh quân.

Hậu nhân Hữu vũ vệ Đại tướng quân Ca Lạm Bạt Diên (歌滥拔延).